iT邦幫忙

2023 iThome 鐵人賽

DAY 21
0
自我挑戰組

全端網頁-入職三十天學習筆記系列 第 21

【全端網頁開發】Day21-ETF工具Apache NiFi實做

  • 分享至 

  • xImage
  •  

前言

昨天介紹了ETL概念,今天要實作ETL工具Apache NiFi的流程,
它的應用可以滿廣的,今天先以基本的功能展示它的作用,
那以下就開始介紹Apache NiFi。

Apache NiFi

強調資料流程自動化和簡化。提供了一個直觀的圖形界面,用戶可以輕鬆配置資料流程和轉換。
NiFi 主要用於資料流處理,並支援實時和批量資料移動,特別適用於 IoT 和大數據場景。

那他能透過官方下載,也可以透過Docker直接啟動,
Docker啟動的方式比較簡單,直接從Docker Hub pull映像檔就可以了,
今天主要記錄官方下載的方式。

安裝流程

1.官方下載Apache NiFi https://nifi.apache.org/download.html
選擇 ● Binaries -Apache NiFi Binary 1.23.2 版本下載

2.官方下載JAVA https://www.oracle.com/tw/java/technologies/downloads/
依照作業系統進行不同版本的下載

3.設定環境變數
在path設定nifi跟java的bin目錄
https://ithelp.ithome.com.tw/upload/images/20231006/201629561FhGl199pd.png
https://ithelp.ithome.com.tw/upload/images/20231006/201629560hP7tvtAid.png

並新增JAVA_HOME系統變數,位置為JAVA資料夾目錄
https://ithelp.ithome.com.tw/upload/images/20231006/20162956q2i6aW1obt.png

4.在命令提示字元 CD 到 nifi的資料夾中執行 bin\run-nifi.bat
https://ithelp.ithome.com.tw/upload/images/20231006/20162956RKq6qnhj9x.png

5.在nifi資料夾中的logs可找到臨時登入帳號密碼
https://ithelp.ithome.com.tw/upload/images/20231006/20162956f88pitT3X0.png
https://ithelp.ithome.com.tw/upload/images/20231006/20162956tXi7x3jncQ.png

6.瀏覽器輸入https://127.0.0.1:8443/nifi 並登入
https://ithelp.ithome.com.tw/upload/images/20231006/20162956gVerjwOvpb.png

7.即可進入NiFi使用介面
https://ithelp.ithome.com.tw/upload/images/20231006/20162956EBjqIithAg.png

NiFi實做範例

主要就是完成一個ETL的流程,
轉換的部分使用ExecuteScript來使用jython語言。

1.首先建立(E)GetFile並在input Directory寫入資料夾
https://ithelp.ithome.com.tw/upload/images/20231006/2016295643wLOei8Fz.png

2.建立(T)ExecuteScript可使用Jython語言
https://ithelp.ithome.com.tw/upload/images/20231006/201629565ckbELhRxU.png

3.建立(L)PutFile在Directory寫入接收資料夾
https://ithelp.ithome.com.tw/upload/images/20231006/20162956pIHNHCjmdN.png

4.PutFile設定RELATIONSHIPS勾選terminate
https://ithelp.ithome.com.tw/upload/images/20231006/20162956u1bWs3AVcP.png

5.將三個Processor依照圖中連線,
ExecuteScript需要連線成功和失敗至PutFile
https://ithelp.ithome.com.tw/upload/images/20231006/201629565wdyXwKzQ6.png

6.Jython語法如下 會寫進Hello World! 傳到新的資料
https://ithelp.ithome.com.tw/upload/images/20231006/201629567UAV03yrI8.png

這樣就大功告成了,只要在寫入資料夾放入文件,
就會透過轉換並送到接收資料夾了。

結語

本篇介紹了Apache NiFi,一個功能強大且靈活的ETL工具,用於實現數據的提取、轉換和加載。
NiFi通過直觀的圖形界面,能夠輕鬆配置和管理數據流程,
以上~希望能夠幫助你入門Apache NiFi。


上一篇
【全端網頁開發】Day20-ETL(提取、轉換、載入):數據之旅
下一篇
【全端網頁開發】Day22-JsTree-flask實做前端樹狀結構UI
系列文
全端網頁-入職三十天學習筆記30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言